Arbeiten mit Apache Spark in Azure Synapse Analytics von Christopher Münch
Vom 11. bis 14. Oktober fanden die „
SQLdays
2021“ in Erding statt.
Video zum Vortrag von Christopher Münch mit dem Titel "Arbeiten mit Apache Spark in Azure Synapse Analytics" anlässlich der SQLdays 2021.
Mit dem Release von Azure Synapse Analytics Ende 2020 hat Microsoft eine Cloud Plattform zur Verfügung gestellt,
die sowohl für Data Engineers als auch Data Scientists gedacht ist. Während Data Engineers hauptsächlich mit
relationalen Datenbanken-Systemen wie dem SQL-Server zusammen mit den SQL-Server Integration Services oder
vielleicht der Data Factory arbeiten, setzen viele Data Scientists mittlerweile auf Apache Spark, um die
verschiedensten Aufgaben wie Big Data Analysen oder beispielsweise Machine Learning durchführen zu können.
Insbesondere Databricks – eine Analyseplattform, welche das Arbeiten mit Spark dank Clustermanagement & Notebooks
sehr angenehm macht – erfreut sich großer Beliebtheit. Microsoft bietet mit Azure Databricks ebenfalls eine Plattform an,
um mit Databricks zu arbeiten. Allerdings wurde ein großer Teil der Features, die in Databricks verfügbar sind,
ebenfalls in Azure Synapse Analytics integriert, sodass nun kein zusätzlicher Dienst mehr benötigt wird, um direkt
mit Spark arbeiten zu können. Doch Spark ist nicht nur für Machine Learning & Data Scientists interessant.
Gerade für Data Engineers bietet Spark viele interessante Möglichkeiten, um komplexe Datenintegrations-Prozesse
zu erstellen.
Auf unserem Video-Portal studios.ppedv.de findet man eine breite Basis an Informationen rund um das Thema IT.
Die Schwerpunkte bilden dabei nicht nur Microsoft-Technologien. Themen wie Visual Studio, .net, C++, C#, Angular JS und viele mehr werden von unseren professionellen Trainern detailliert erklärt.